What Effort Level Should I Choose? On the Economics of Reasoning Effort in LLM Agents
我该选择哪个推理努力水平？论 LLM Agent 推理努力的经济学
🧭 推理努力经济学与动态分配 ★ 深度解读
Johns Hopkins University · Together AI · Cornell University
审计8模型4基准显示高推理努力常丢失低努力已解任务且过度支出；基于验证的阶梯式升级能匹配或超过固定最高努力并降本
📌 工作参考价值（4 点）
- 在电商 Agent 和生成式推荐中，避免固定使用最高 reasoning effort：采用“先最低 effort，外部校验失败后升级到最高”的 naive laddering，可保持或提高成功率，并节省 15-40% 推理成本（论文中 AIME 中位节省25.3%，GPQA 41.5%）。
- 成本核算要包含延迟/等待时间成本，不能只看 API token 费用。高 effort 可能导致 agent 轨迹更长，反复处理上下文，输入 token 成本反而增加；应监控全链路延迟与用户等待成本。
- 评估模型/策略时不能只看 aggregate accuracy，要检查实例级 regressions（高 effort 丢失低 effort 已解决任务），并分析行为策略变化：高 effort 可能偏向检索和自验证，需根据任务类型动态分配。
- 对 LLM 驱动的 query/商品文案生成，可借鉴动态 effort 分配：对简单/常规任务用低 effort，对复杂长尾任务才升级，避免每个请求都支付过度推理成本。